آموزش PySpark [ویدئو]

سرفصل ها و درس ها

پرایمر مختصر در PySpark A Brief Primer on PySpark

• بررسی اجمالی دوره The Course Overview

• معرفی مختصر اسپارک Brief Introduction to Spark

• پشته اسپارک آپاچی Apache Spark Stack

• فرآیند اجرای جرقه Spark Execution Process

• جدیدترین قابلیت های PySpark 2.0+ Newest Capabilities of PySpark 2.0+

• شبیه سازی مخزن GitHub Cloning GitHub Repository

مجموعه داده های توزیع شده انعطاف پذیر Resilient Distributed Datasets

• معرفی مختصر RDDs Brief Introduction to RDDs

• ایجاد RDD Creating RDDs

• طرحواره یک RDD Schema of an RDD

• درک اعدام تنبل Understanding Lazy Execution

• معرفی Transformations – .map(…) Introducing Transformations – .map(…)

• معرفی Transformations – .filter(…) Introducing Transformations – .filter(…)

• معرفی Transformations – .flatMap(…) Introducing Transformations – .flatMap(…)

• معرفی تحولات – .distinct(…) Introducing Transformations – .distinct(…)

• معرفی تبدیل ها – .sample(…) Introducing Transformations – .sample(…)

• معرفی Transformations – .join(…) Introducing Transformations – .join(…)

• معرفی Transformations – .repartition(…) Introducing Transformations – .repartition(…)

مجموعه داده ها و اقدامات توزیع شده انعطاف پذیر Resilient Distributed Datasets and Actions

• معرفی اقدامات – .take(…) Introducing Actions – .take(…)

• معرفی Actions – .collect(…) Introducing Actions – .collect(…)

• معرفی Actions – .reduce(…) و .reduceByKey(…) Introducing Actions – .reduce(…) and .reduceByKey(…)

• معرفی Actions – .count() Introducing Actions – .count()

• معرفی Actions – .foreach(…) Introducing Actions – .foreach(…)

• معرفی Actions – .aggregate(…) و .aggregateByKey(…) Introducing Actions – .aggregate(…) and .aggregateByKey(…)

• معرفی Actions – .coalesce(…) Introducing Actions – .coalesce(…)

• معرفی Actions – CombineByKey(…) Introducing Actions – .combineByKey(…)

• معرفی اکشن ها – هیستوگرام (…) Introducing Actions – .histogram(…)

• معرفی Actions – .sortBy(…) Introducing Actions – .sortBy(…)

• معرفی Actions – Saving Data Introducing Actions – Saving Data

• معرفی اقدامات – آمار توصیفی Introducing Actions – Descriptive Statistics

DataFrames و Transformations DataFrames and Transformations

• معرفی Introduction

• ایجاد DataFrame Creating DataFrames

• مشخص کردن طرحواره یک DataFrame Specifying Schema of a DataFrame

• تعامل با DataFrames Interacting with DataFrames

• تبدیل .agg(…). The .agg(…) Transformation

• تبدیل .sql(…). The .sql(…) Transformation

• ایجاد جداول موقت Creating Temporary Tables

• پیوستن به دو دیتا فریم Joining Two DataFrames

• انجام تحولات آماری Performing Statistical Transformations

• دگرگونی .distinct(…). The .distinct(…) Transformation

پردازش داده با Spark DataFrames Data Processing with Spark DataFrames

• تغییرات طرحواره Schema Changes

• فیلتر کردن داده ها Filtering Data

• جمع آوری داده ها Aggregating Data

• انتخاب داده ها Selecting Data

• تبدیل داده ها Transforming Data

• ارائه داده ها Presenting Data

• مرتب سازی DataFrames Sorting DataFrames

• ذخیره سازی DataFrames Saving DataFrames

• مشکلات UDFs Pitfalls of UDFs

• پارتیشن بندی مجدد داده ها Repartitioning Data